语言模型是使用大量通用数据（如Book Copus，Common Crawl和Wikipedia）进行预训练的，这对于模型了解语言的语言特征至关重要。新的研究建议将域自适应预训练（DAPT）和任务自适应预训练（TAPT）作为最终填充任务之前的中间步骤。此步骤有助于涵盖目标域词汇，并改善下游任务的模型性能。在这项工作中，我们仅研究训练在TAPT和特定于任务的填充过程中嵌入层对模型性能的影响。基于我们的研究，我们提出了一种简单的方法，以通过对BERT层进行选择性预训练，使基于BERT的模型的中间步骤更有效。我们表明，在TAPT期间仅训练BERT嵌入层足以适应目标域的词汇并实现可比的性能。我们的方法在计算上是有效的，在TAPT期间训练了78％的参数。所提出的嵌入层列式方法也可以是一种有效的域适应技术。

文本分类是一种基本的自然语言处理任务，具有各种应用，其中深度学习方法产生了最先进的结果。虽然这些模型对他们的黑匣子的性质严重批评，但他们对输入文本中的轻微扰动的鲁布利是一个关注的问题。在这项工作中，我们进行了一种数据专注的研究，评估系统实际扰动对基于CNN，LSTM和基于BERT的算法的深度学习的文本分类模型的性能的影响。通过添加和移除不需要的代币，如标点符号和止挡词的添加和删除与模型的最终性能相关联的不需要的令牌引起的扰动。我们表明，这些深度学习方法包括BERT在四个标准基准数据集SST2，TREC-6，BBC新闻和Tweet_eval上的这种合法输入扰动敏感。与添加令牌相比，我们观察到伯特更容易去除令牌。此外，与基于CNN的模型相比，LSTM对输入扰动稍微敏感。这项工作还担任评估模型最终表现的火车测试条件下差异影响的实用指南。

Spatial perception is a key task in several robotics applications. In general, it involves the nonlinear estimation of hidden variables that represent the state of the robot/environment. However, in the presence of outliers the standard nonlinear least squared formulation results in poor estimates. Several methods have been considered in the literature to improve the reliability of the estimation process. Most methods are based on heuristics since guaranteed global robust estimation is not generally practical due to high computational costs. Recently general purpose robust estimation heuristics have been proposed that leverage existing non-minimal solvers available for the outlier-free formulations without the need for an initial guess. In this work, we propose two similar heuristics backed by Bayesian theory. We evaluate these heuristics in practical scenarios to demonstrate their merits in different applications including 3D point cloud registration, mesh registration and pose graph optimization.

来自多个RGB摄像机的无标记人类运动捕获（MOCAP）是一个广泛研究的问题。现有方法要么需要校准相机，要么相对于静态摄像头校准它们，该摄像头是MOCAP系统的参考框架。每个捕获会话都必须先验完成校准步骤，这是一个乏味的过程，并且每当有意或意外移动相机时，都需要重新校准。在本文中，我们提出了一种MOCAP方法，该方法使用了多个静态和移动的外部未校准的RGB摄像机。我们方法的关键组成部分如下。首先，由于相机和受试者可以自由移动，因此我们选择接地平面作为常见参考，以代表身体和相机运动，与代表摄像机坐标中身体的现有方法不同。其次，我们了解相对于接地平面的短人类运动序列（$ \ sim $ 1SEC）的概率分布，并利用它在摄像机和人类运动之间消除歧义。第三，我们将此分布用作一种新型的多阶段优化方法的运动，以适合SMPL人体模型，并且摄像机在图像上的人体关键点构成。最后，我们证明我们的方法可以在从航空摄像机到智能手机的各种数据集上使用。与使用静态摄像头的单眼人类MOCAP任务相比，它还提供了更准确的结果。我们的代码可在https://github.com/robot-ception-group/smartmocap上进行研究。

为了追踪和运动捕获（MOCAP）在其自然栖息地中的动物，非常适合安全和无声的空中平台，例如带有车载摄像机的飞艇。但是，与多旋转器不同，飞艇受到严格的运动限制和受环境风的影响。它们的方向和飞行方向也紧密耦合。因此，用于感知任务的基于最新的MPC的形成控制方法不适用于飞艇团队。在本文中，我们首先利用飞艇的空速与其与主题的距离之间的定期关系来解决这个问题。我们使用它来得出满足MOCAP感知约束的分析和数字解决方案。基于此，我们开发了一个基于MPC的编队控制器。我们对解决方案进行了详细的分析，包括改变物理参数（例如攻击角度和俯仰角）的影响。提出了广泛的仿真实验，比较了不同的形成大小，不同的风条件和各种受试者速度的结果。还包括我们关于真实飞艇的方法的演示。我们已经在https://github.com/robot-pocepepon-group/airship-mpc上发布了所有源代码。可以在https://youtu.be/ihs0_vrd_kk上观看描述我们方法和结果的视频。

驾驶员注意力预测的任务引起了研究人员对机器人技术和自动驾驶汽车行业的极大兴趣。驾驶员注意力预测可以在缓解和预防高风险事件（如碰撞和伤亡）中发挥工具作用。但是，现有的驾驶员注意力预测模型忽略了驾驶员的分心状态和意图，这可能会极大地影响他们观察周围环境的方式。为了解决这些问题，我们提出了一个新的驾驶员注意数据集Cocatt（认知条件的注意力）。与以前的驾驶员注意数据集不同，Cocatt包括描述驾驶员的分心状态和意图的人均注释。此外，我们的数据集中的注意力数据使用不同分辨率的眼睛跟踪设备在手动和自动驾驶模式中捕获。我们的结果表明，将上述两个驱动程序状态纳入注意力建模可以提高驾驶员注意力预测的性能。据我们所知，这项工作是第一个提供自动驾驶注意数据的工作。此外，就自主性水平，眼动分辨率和驾驶场景而言，Cocatt目前是最大，最多样化的驾驶员注意数据集。 Cocatt可在https://cocatt-dataset.github.io上下载。

欧几里得最短的路径问题（ESPP）是许多实际应用的精心研究的问题。最近，基于射线拍摄和多边形扫描，已经开发了一种新的高效在线方法Rayscan。在本文中，我们展示了如何通过仔细理解多边形扫描来改善Rayscan。我们还研究了如何在单源多目标方案中应用Rayscan，在扫描过程中，逻辑用于减少所需的射线射击数量。这种改进也有助于单个目标情况。我们将改进的Rayscan+与最新的ESPP算法进行比较，说明了情况更好的情况。

高维空间中的大约最近的邻居搜索（ANN）对于许多现实生活应用程序（例如电子商务，Web，多媒体等）至关重要。在本文中，我们提出了一个端到端的学习框架，该框架将分区（ANN的一个关键步骤）和使用自定义损失函数进行学习进行搜索步骤。我们提出的解决方案的关键优势是，它不需要对数据集进行任何昂贵的预处理，这是最新方法的关键局限性之一。我们通过制定不需要地面真实标签来量化数据空间分区的质量的多目标自定义损失函数来实现上述边缘，从而完全不受监督。我们还通过在损失功能中添加不同的输入权重来训练模型集合以增强搜索质量来提出一种结合技术。在几个标准的ANN标准基准上，我们表明我们的方法击败了最新的空间分区方法和无处不在的K-均值聚类方法，同时使用较少的参数和较短的离线训练时间。在没有一般性的情况下，我们的无监督分区方法被证明是许多广泛使用的聚类方法（例如K-均值聚类和DBSCAN）的有希望的替代方法。

Covid19 Pandemary已经证明了需要远程学习和虚拟学习应用，如虚拟现实（VR）和基于平板电脑的解决方案。开发人员创建复杂的学习情景是非常耗时的，可能需要一年多。使用系统分析师，开发人员和3D艺术家的团队也是昂贵的。有要求提供简单的方法，使讲师能够为其实验室教程创建自己的内容。已经开发了开发通用模型的研究，以便为需要与实验室资源进行实际交互的科目的半自动创建虚拟学习工具。除了用于创建数字双胞胎的系统之外，还提出了一种描述为电动实验室教程创建虚拟学习应用程序的案例研究。

司机注意力预测的任务对机器人和自治车辆行业的研究人员来说具有相当大的兴趣。司机注意预测可以在缓解和防止高风险事件中起作用的乐器作用，如碰撞和伤亡。然而，现有的司机注意力预测模型忽略了驾驶员的分心状态和意图，这可能会显着影响他们如何观察周围环境。为解决这些问题，我们展示了一个新的驱动程序注意数据集，Cocatt（认知条件注意）。与以前的驱动程序注意数据集不同，CoCatt包括单帧注释，用于描述驱动程序的分散注意力状态和意图。此外，我们的数据集中的注意数据在手动和自动驾驶仪模式中使用不同分辨率的眼跟踪设备捕获。我们的结果表明，将上述两个驾驶员状态纳入注意建模可以提高驾驶员注意预测的性能。据我们所知，这项工作是第一个提供自动opilot注意数据的人。此外，COCATT目前是最大的和最多样化的驾驶员注意数据集，在自主水平，眼跟踪器分辨率和驾驶场景方面。